Jensen–Shannon Divergence

释义 Definition

Jensen–Shannon散度：衡量两个概率分布相似度的指标，常用于信息论与机器学习。它基于KL散度（Kullback–Leibler divergence）构造，通常对称、且数值有界（常见取对数底为2时最大为1）。在比较文本主题分布、模型输出分布等场景中很常用。（也常简称 JS divergence / JSD）

发音 Pronunciation (IPA)

/ˈjɛnsən ˈʃænən daɪˈvɜːrdʒəns/

例句 Examples

The Jensen–Shannon divergence between the two distributions is small.
这两个分布之间的Jensen–Shannon散度很小。

We used Jensen–Shannon divergence to compare the topic distributions of two documents, because it is symmetric and more stable than KL divergence in practice.
我们用Jensen–Shannon散度来比较两篇文档的主题分布，因为它是对称的，而且在实践中通常比KL散度更稳定。

词源 Etymology

该术语由两部分构成：Jensen 指“詹森不等式”（Jensen’s inequality）这一数学工具；Shannon 指信息论奠基人 Claude Shannon 及其“香农熵（Shannon entropy）”。“Jensen–Shannon散度”作为一种基于熵的分布差异度量，在学术文献中由后续研究系统化并推广（常见归因于 1991 年 Lin 的相关工作），名称体现了其数学基础与信息论渊源。

相关词 Related Words

• Kullback-Leibler Divergence
• Entropy
• Cross-Entropy
• Mutual Information
• Probability Distribution
• Total Variation Distance
• Hellinger Distance
• Bhattacharyya Distance

文学与著名作品 Literary & Notable Works

• J. Lin (1991) Divergence measures based on the Shannon entropy（系统讨论并推广JS散度相关度量）
• Thomas M. Cover & Joy A. Thomas Elements of Information Theory（信息论经典教材中涉及分布散度与相关概念）
• David J. C. MacKay Information Theory, Inference, and Learning Algorithms（信息论与机器学习经典教材中常讨论分布距离/散度思想）